### 服务端程序
wasm_server="llama-api-server.wasm"

### 模型文件
model_file="/data/llm/Llama-4-Scout-17B-16E-Instruct-Q5_K_M.gguf"
model_name="Llama-4-Scout"
prompt_template="llama-4-chat"

res='<|im_end|>'

### 打印信息
printf "模型文件: $model_file, prompt: $prompt_template, wasm服务
端文件: $wasm_server \n\n"

printf "启动服务 ...\n\n"

wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:$model_file $wasm_server \
  -p $prompt_template \
  --ctx-size 4096 --batch-size 4096 \
  --log-prompts --log-stat \
  --model-name $model_name \
  --socket-addr 0.0.0.0:8080
